#Transformer interpretability

Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs

Transformer 能同时持有两种思想：LLM 线性叠加的证据

🧭 Transformer 可解释性与推理加速

证明 LLM 输入端线性组合会产生输出分布叠加，并提出引导解码实现单次前向生成两条连贯续写

📌 工作参考价值（4 点）

推理加速：借鉴引导解码同时解耦叠加输出，可在一次前向中生成多个候选 query/文案，用于搜索推荐场景的多路召回或 A/B 文案测试，降低 GPU 成本。
多意图融合：若模型经轻量微调恢复叠加线性，可混合多个意图 prompt embedding（如“品牌词+品类词”），再用解码约束得到多条符合不同意图的结果，适合电商搜索 query 推荐。
可落地微调：叠加线性随预训练减弱但能通过轻量微调恢复，业务模型可以用少量数据进行微调，使多流输入并行处理成为可能，从而支持 Agent 同时处理多个子任务。
注意边界：该线性性质与训练程度相关，实际部署前需在自有模型上验证；建议在微调阶段加入保持叠加线性的正则项或混合训练数据。

LLM | 2026-09-23 | HF Daily | score 7/10

影响力分数与Transformer可解释性：推理时测量注意力头的有效影响

🧭 Transformer 可解释性 · 注意力头归因

Thales CDI, France · Inria Paris, France · Sorbonne Université, France

提出结合logits方向影响与残差流结构贡献的influence score，用于多尺度量化注意力头对分类决策的贡献

📌 工作参考价值（4 点）

对部署在推荐/广告风控链路中的文本分类模型（如恶意query检测、prompt注入检测、低质内容过滤），可用influence score定位导致错误预测的关键注意力头，辅助badcase归因与模型调试。
其“方向影响+结构贡献”的双信号设计可迁移到Transformer排序模型：对用户行为序列、特征交叉层做注意力头级贡献分析，识别冗余或高影响头，用于推理加速或蒸馏裁剪。
多尺度分析框架（head/layer/network）可用作模型上线后的行为监控，检测决策模式漂移，尤其适用于数据不可控的外部安全分类器。
主要价值在可解释性工具，电商推荐场景的直接业务收益有限，需结合具体模型验证。

LLM | 2026-09-04 | cs.CL | score 6/10